03-10
현재 문제점은 VRAM에 제약이 있어서 각 작업마다 모델을 스위치를 해야 한다.
위 문제만 봤을 때는 AI 모델을 바꾸면 되는 게 아닌가라고 생각이 가능한데, 가장 큰 문제점은, 각 작업마다, SQLite DB를 둬서 thread로 처리하려고 한다. 문제는 평상시에는 문제가 없지만, 각기 다른 AI 모델을 사용자가 요청했을 때가 문제다. 그리고 그 요청들을 어떻게 관리를 해야 할 지, 이게 핵심 화두다.
심지어, 지금 thread로 돌릴 생각인데, 이 부분도 고민이 많다.
이 insight를 OS에서 얻어야 할 것 같다. 각 작업들을 어떻게 주는 지, 이 연구를 해야 비로서, AI로 완벽한 비서를 사용할 수 있는 게 아닌가 싶다.